Handwritten Amharic Character Recognition Using a Convolutional Neural Network

Amharic is the official language of the Federal Democratic Republic of Ethiopia. There are lots of historic Amharic and Ethiopic handwritten documents addressing various relevant issues including governance, science, religious, social rules, cultures and art works which are very rich indigenous knowledge. The Amharic language has its own alphabet derived from Ge’ez which is currently the liturgical language in Ethiopia. Handwritten character recognition for non Latin scripts like Amharic is not addressed especially using the advantages of state-of-the-art techniques. This research work designs for the first time a model for Amharic handwritten character recognition using a convolutional neural network. The dataset was organized from collected sample handwritten documents and data augmentation was applied for machine learning

Handwritten Amharic Character Recognition Using a Convolutional Neural Network

Amharic is the official language of the Federal Democratic Republic of Ethiopia. There are lots of historic Amharic and Ethiopic handwritten documents addressing various relevant issues including governance, science, religious, social rules, cultures and art works which are very reach indigenous knowledge. The Amharic language has its own alphabet derived from Ge'ez which is currently the liturgical language in Ethiopia. Handwritten character recognition for non Latin scripts like Amharic is not addressed especially using the advantages of the state of the art techniques. This research work designs for the first time a model for Amharic handwritten character recognition using a convolutional neural network. The dataset was organized from collected sample handwritten documents and data augmentation was applied for machine learning. The model was further enhanced using multi-task learning from the relationships of the characters. Promising results are observed from the later model which can further be applied to word prediction.Comment: ECDA2019 Conference Oral Presentatio

Transfer Learning for Automated Machine Learning: Meta-feature Learning, Black-box Hyperparameter Optimization and Applications

Automated machine learning represents the next generation of machine learning that involves efficiently identifying model hyperparameters and configurations that ensure decent generalization behavior beyond the training data. With a proper setup in place, considerable resources can be saved by practitioners and academics. Beyond naive approaches, e.g. random sampling or grid search, sequential model-based optimization has been at the forefront of solutions that attempt to optimize the black-box function representing the generalization surface, for example, the validation loss. With the abundance of data and algorithm evaluations being available, transfer learning techniques and meta-knowledge can be utilized to further expedite hyperparameter optimization. In this thesis, we cover 4 ways in which meta-knowledge can be leveraged to improve hyperparameter optimization. In the first part, we present two large-scale meta-datasets, i.e. a collection of hyperparameters and their respective response for a machine learning algorithm trained on several datasets. We describe in detail the implementation details and descriptive analytics that highlight the heterogeneity of the resulting response surface. The two meta-datasets are used as benchmark datasets upon which the subsequent methods developed in this thesis have been empirically evaluated. In the second part, we introduce the first work that automates the process of learning meta-features, i.e. dataset characteristics, directly from the dataset distribution. Previously, meta-features required expert-domain knowledge and a lot of engineering to properly represent datasets as entities for a meta-learning task. Following this work, we integrate the meta-feature extractor as a module in the machine learning algorithm, and optimize it jointly for the meta-learning task, further promoting the benefits of differentiable meta-features. Finally, we carry over the concept of meta-feature learning in the absence of the underlying dataset. Specifically, we design a deep Gaussian kernel that allows for a richer representation of the attributes via non-linear transformation. The resulting surrogate is conditioned on landmark meta-features extracted from the history of task-specific evaluations. In the third part, we formulate the problem of hyperparameter optimization as a Markov Decision Process. As such, we introduce the first paper on hyperparameter optimization in a reinforcement learning framework and define a novel transferable policy that acts as an acquisition function for hyperparameter optimization. Furthermore, we study the impact of planning in hyperparameter optimization through a novel non-myopic acquisition function. Finally, we present hyperparameter optimization in a zero-shot setting. In contrast to sequential model-based optimization, the fastest way for HPO is by learning a zero-shot approach, that identifies the best configuration with a single trial. Our Zap-HPO approach outperforms the state-of-the-art in algorithm selection for deep learning pipelines that comprise a machine learning algorithm and its associated hyperparameters, given simple meta-features.Automatisiertes maschinelles Lernen stellt die nächste Generation des maschinellen Lernens dar, bei dem das Ziel darin besteht, effizient Modellhyperparameter und - konfigurationen zu ermitteln, die ein angemessenes Generalisierungsverhalten über die Trainingsdaten hinaus gewährleisten. Mit einem geeigneten Setup können Prak- tiker und Forscher erhebliche Ressourcen einsparen. Neben naiven Ansätzen, z. B. Zufallsstichproben oder Gittersuche, steht die sequentielle modellbasierte Optimierung an der Spitze von Lösungen, die versuchen, die Black-Box-Funktion zu optimieren, die die Generalisierungsfläche darstellt, z. B. den Validierungsverlust. Angesichts der Fülle an verfügbaren Daten und Algorithmusbewertungen können Transfer-Learning-Techniken und Metawissen eingesetzt werden, um die Optimierung von Hyperparametern weiter zu beschleunigen. In dieser Arbeit zeigen wir 4 Möglichkeiten auf, wie Metawissen zur Verbesserung der Hyperparameter-Optimierung eingesetzt werden kann. Im ersten Teil stellen wir zwei Metadatensätze vor, d. h. eine Sammlung von Hyperparametern und ihre jeweiligen Antworten für einen maschinellen Lernalgorithmus, der auf mehreren Datensätzen trainiert wurde. Wir beschreiben im Detail die Implementierungsdetails und die deskriptiven Analysen, die die Heterogenität der resultieren den Antwortfläche hervorheben. Die beiden Metadatensätze werden als Benchmark-Datensätze verwendet, auf denen die in dieser Arbeit entwickelten Methoden empirisch evaluiert wurden. Im zweiten Teil stellen wir die erste Arbeit vor, die den Prozess des Lernens von Meta-Merkmalen, d.h. von Datensatzmerkmalen, direkt aus der Datensatzverteilung automatisiert. Bisher erforderten Meta-Merkmale Expertenwissen und einen hohen technischen Aufwand, um Datensätze als Entitäten für eine Meta-Lernaufgabe richtig darzustellen. Im Anschluss an diese Arbeit integrieren wir den Meta-Merkmalsextraktor als Modul in den Algorithmus für maschinelles Lernen und optimieren ihn gemeinsam für die Meta-Lernaufgabe, um die Vorteile differenzierbarer Meta-Merkmale weiter zu fördern. Schließlich übertragen wir das Konzept des Meta-Merkmals-Lernens auf die Abwesenheit des zugrunde liegenden Datensatzes. Konkret entwerfen wir einen tiefen Gauß-Kernel, der eine umfassendere Darstellung von Attributen durch nichtlineare Transformation ermöglicht. Das resultierende Surrogat ist mit den Meta-Merkmalen verknüpft, die aus der Historie der aufgabenspezifischen Bewertungen extrahiert wurden. Im dritten Teil formulieren wir das Hyperparameter-Optimierungsproblem als einen Markov-Entscheidungsprozess. Damit stellen wir die erste Arbeit zur Hyperparameter-Optimierung in einem Reinforcement-Learning-Rahmen vor und definieren eine neuartige übertragbare Strategie, die als Erfassungsfunktion für die Hyperparameter-Optimierung dient. Darüber hinaus untersuchen wir die Auswirkungen der Planung in der Hyperparameter-Optimierung durch eine neuartige nicht-myopische Erfassungsfunktion. Schließlich stellen wir die Hyperparameter-Optimierung in einer Zero-Shot-Umgebung vor. Anders als bei der sequentiellen modellbasierten Optimierung besteht der schnellste Weg für HPO darin, einen Zero-Shot-Ansatz zu erlernen, der die beste Konfiguration mit einem einzigen Versuch identifiziert. Unser Zap-HPO-Ansatz übertrifft den Stand der Technik bei der Auswahl von Deep-Learning-Pipeline-Algorithmen, die einen maschinellen Lernalgorithmus und zugehörige Hyperparameter umfassen, bei einfachen Metamerkmalen